Ví dụ đơn giản nhất của hồi qui là trong trường hợp 1 chiều. Chúng ta được cấp một vec-tơ của các giá trị x và một vec-tơ khác của các giá trị y và chúng ta đang cố gắng tìm kiếm một hàm mà f ( x i ) = y i {\displaystyle f(x_{i})=y_{i}} .

giả sử x → = ( − 2 − 1 0 1 2 ) , y → = ( 5 2 1 2 5 ) {\displaystyle {\vec {x}}={\begin{pmatrix}-2\\-1\\0\\1\\2\\\end{pmatrix}},{\vec {y}}={\begin{pmatrix}5\\2\\1\\2\\5\\\end{pmatrix}}}

Giả thiết rằng giải pháp (hàm) của chúng ta là thuộc họ các hàm được định bởi chuỗi Fourier mở rộng cấp 3 (3rd degree Fourier expansion) được viết dưới dạng:

f ( x ) = a 0 / 2 + a 1 cos ⁡ ( x ) + b 1 sin ⁡ ( x ) + a 2 cos ⁡ ( 2 x ) + b 2 sin ⁡ ( 2 x ) + a 3 cos ⁡ ( 3 x ) + b 3 sin ⁡ ( 3 x ) {\displaystyle f(x)=a_{0}/2+a_{1}\cos(x)+b_{1}\sin(x)+a_{2}\cos(2x)+b_{2}\sin(2x)+a_{3}\cos(3x)+b_{3}\sin(3x)}

với a i , b i {\displaystyle a_{i},b_{i}} là các số thực. Bài toán này có thể được biểu diễn theo dạng ma trận như sau:

( 1 / 2 , cos ⁡ ( x ) , sin ⁡ ( x ) , cos ⁡ ( 2 x ) , sin ⁡ ( 2 x ) , cos ⁡ ( 3 x ) , sin ⁡ ( 3 x ) , ) ( a 0 a 1 b 1 a 2 b 2 a 3 b 3 ) = y → {\displaystyle {\begin{pmatrix}1/2,&\cos(x),&\sin(x),&\cos(2x),&\sin(2x),&\cos(3x),&\sin(3x),\\\end{pmatrix}}{\begin{pmatrix}a_{0}\\a_{1}\\b_{1}\\a_{2}\\b_{2}\\a_{3}\\b_{3}\\\end{pmatrix}}={\vec {y}}}

điền vào dạng này các giá trị của chúng ta sẽ cho ta bài toán với dạng Xw = y

( 1 / 2 cos ⁡ ( − 2 ) sin ⁡ ( − 2 ) cos ⁡ ( − 4 ) sin ⁡ ( − 4 ) cos ⁡ ( − 6 ) sin ⁡ ( − 6 ) 1 / 2 cos ⁡ ( − 1 ) sin ⁡ ( − 1 ) cos ⁡ ( − 2 ) sin ⁡ ( − 2 ) cos ⁡ ( − 3 ) sin ⁡ ( − 3 ) 1 / 2 1 0 1 0 1 0 1 / 2 cos ⁡ ( 1 ) sin ⁡ ( 1 ) cos ⁡ ( 2 ) sin ⁡ ( 2 ) cos ⁡ ( 3 ) sin ⁡ ( 3 ) 1 / 2 cos ⁡ ( 2 ) sin ⁡ ( 2 ) cos ⁡ ( 4 ) sin ⁡ ( 4 ) cos ⁡ ( 6 ) sin ⁡ ( 6 ) ) . ( a 0 a 1 b 1 a 2 b 2 a 3 b 3 ) = ( 5 2 1 2 5 ) {\displaystyle {\begin{pmatrix}1/2&\cos(-2)&\sin(-2)&\cos(-4)&\sin(-4)&\cos(-6)&\sin(-6)\\1/2&\cos(-1)&\sin(-1)&\cos(-2)&\sin(-2)&\cos(-3)&\sin(-3)\\1/2&1&0&1&0&1&0\\1/2&\cos(1)&\sin(1)&\cos(2)&\sin(2)&\cos(3)&\sin(3)\\1/2&\cos(2)&\sin(2)&\cos(4)&\sin(4)&\cos(6)&\sin(6)\\\end{pmatrix}}.{\begin{pmatrix}a_{0}\\a_{1}\\b_{1}\\a_{2}\\b_{2}\\a_{3}\\b_{3}\\\end{pmatrix}}={\begin{pmatrix}5\\2\\1\\2\\5\\\end{pmatrix}}}

Bài toán này bây giờ có thể chuyển thành bài toán tối ưu để tìm ra tổng cực tiểu của bình phương sai số.

hàm Fourier bậc 3 min w → ∑ i = 1 n ( x i → w → − y i ) 2 {\displaystyle \min _{\vec {w}}\sum _{i=1}^{n}({\vec {x_{i}}}{\vec {w}}-y_{i})^{2}} min w → ‖ X w → − y → ‖ 2 . {\displaystyle \min _{\vec {w}}\|X{\vec {w}}-{\vec {y}}\|^{2}.}

giải bằng phương pháp bình phương cực tiểu cho ra:

w → = ( 0 4.25 0 − 6.13 0 2.88 0 ) {\displaystyle {\vec {w}}={\begin{pmatrix}0\\4.25\\0\\-6.13\\0\\2.88\\0\\\end{pmatrix}}}

vì thế hàm Fourier bậc 3 mà trùng khớp nhất với dữ liệu có công thức cụ thể:

f ( x ) = 4.25 cos ⁡ ( x ) − 6.13 cos ⁡ ( 2 x ) + 2.88 cos ⁡ ( 3 x ) . {\displaystyle f(x)=4.25\cos(x)-6.13\cos(2x)+2.88\cos(3x).}